01
课程导论：HPA与vLLM概述
为什么需要自动扩缩 · 课程目标与前置知识
导论vLLM
02
Kubernetes核心概念回顾
Pod · Deployment · Service · Namespace · 资源配额
K8s基础核心
03
vLLM架构与部署
推理引擎简介 · 模型加载与推理流程 · K8s上部署vLLM
vLLM部署
04
HPA基础
HPA工作原理 · Metrics Server · 基于CPU/内存配置
HPA入门
05
自定义指标与Prometheus
Prometheus架构 · 自定义指标API · Adapter配置
监控Prometheus
06
vLLM关键性能指标
吞吐量(TPS) · 首Token延迟(TTFT) · GPU利用率 · 队列深度
指标性能
07
基于Prometheus的vLLM指标采集
vLLM内置指标 · Prometheus Operator · ServiceMonitor
采集Prometheus
08
HPA自定义指标配置
HorizontalPodAutoscaler YAML · 基于vLLM TPS扩缩策略
HPAYAML
09
HPA扩缩策略调优
稳定窗口 · 冷却时间 · 扩缩阈值 · 最小/最大副本数
调优策略
10
vLLM请求排队与背压机制
请求队列原理 · 背压信号 · 与HPA联动
背压排队
11
基于GPU利用率的HPA
DCGM Exporter部署 · GPU指标采集 · HPA配置实战
GPUDCGM
12
基于请求队列深度的HPA
队列深度指标定义 · PromQL编写 · HPA配置
队列PromQL
13
多指标HPA组合策略
CPU · GPU · TPS · 队列深度 · 权重与优先级
多指标组合
14
HPA与Cluster Autoscaler联动
节点自动扩缩 · Pod调度与资源竞争 · 最佳实践
CA集群
15
vLLM模型热加载与冷启动
模型加载时间 · 预热策略 · 对HPA的影响
冷启动模型
16
HPA扩缩延迟分析与优化
指标采集延迟 · 评估周期 · 扩缩响应时间
延迟优化
17
vLLM推理稳定性保障
最小副本数 · PodDisruptionBudget · 优雅关闭
稳定性PDB
18
HPA与Ingress流量管理
Ingress Controller · 流量分发 · 基于请求数的HPA
Ingress流量
19
KEDA进阶
KEDA架构 · ScaledObject配置 · 基于Prometheus触发器
KEDA进阶
20
KEDA vs HPA
功能对比 · 适用场景 · 迁移策略
对比选型
21
vLLM多模型部署与HPA
多模型共享GPU · 模型隔离 · 独立扩缩策略
多模型隔离
22
HPA监控与告警
Grafana仪表盘 · Alertmanager · 关键告警规则
监控告警
23
HPA故障排查
常见问题 · 日志分析 · 调试命令 · 案例分析
排障调试
24
vLLM性能压测与HPA验证
压测工具(Locust/Vegeta) · 扩缩效果验证 · 性能基准
压测验证
25
成本优化
按需实例与Spot实例 · 预留资源 · HPA成本控制策略
成本Spot
26
安全与权限
RBAC配置 · ServiceAccount · HPA安全最佳实践
安全RBAC
27
多集群HPA管理
Federation · 跨集群扩缩 · 统一监控
多集群Federation
28
vLLM版本升级与HPA兼容性
API版本变更 · 指标变化 · 升级策略
升级兼容
29
生产环境案例
某AI公司vLLM服务HPA实战 · 架构设计 · 经验总结
案例生产
30
课程总结与展望
知识体系回顾 · 未来趋势 · 学习路径建议
总结展望